PLC 기계음 오탐지 원인 분석 및 해결

AI 아바타(핑퐁이)가 발화하는 도중, 네트워크가 일시적으로 불안정해지는 순간에 기계음 감지 로직이 오탐(False Positive)을 발생시켜 세션이 중단되는 현상이 보고됨.

PLC 프레임 자체를 오디오 신호로 구분하는 것은 매우 어렵다. 직전 프레임 복사본이므로 합법적인 음성 반복과 구별되지 않는다. 반면 WebRTC inbound-rtp 통계는 브라우저가 내부적으로 PLC를 적용한 샘플 수(concealedSamples)를 직접 카운팅하므로 100% 신뢰도로 PLC 활성 여부를 알 수 있다.

// PLC 감지용 WebRTC stats 샘플링 주기
const PLC_STATS_INTERVAL_MS             = 500;
// PLC active 상태가 stats 없이도 유지되는 시간
const PLC_STATE_TTL_MS                  = 1_500;
// 500ms 구간 내 concealed 비율이 이 값 이상이면 PLC 활성
const PLC_CONCEALED_SAMPLE_RATIO_THRESHOLD = 0.03;
// concealmentEvents 증가량이 이 값 이상이면 PLC 활성
const PLC_CONCEALMENT_EVENTS_THRESHOLD  = 2;
// packetsLost 증가량이 이 값 이상이면 PLC 활성
const PLC_PACKETS_LOST_THRESHOLD         = 3;
// jitter가 80ms 이상이면 PLC 위험 구간으로 간주
const PLC_JITTER_THRESHOLD_MS            = 80;

500ms마다 getAudioInboundStats()를 호출해 inbound-rtp 통계를 읽는다. 이전 샘플 대비 델타값을 계산하여 PLC 활성 여부를 판정한다.

const concealedSamplesDelta    = stats.concealedSamples - prev.concealedSamples;
const totalSamplesReceivedDelta = stats.totalSamplesReceived - prev.totalSamplesReceived;
const concealedSampleRatio      = concealedSamplesDelta / totalSamplesReceivedDelta;

const active =
  concealedSampleRatio >= 0.03  // 수신 샘플의 3% 이상이 PLC
  || concealmentEventsDelta >= 2  // 500ms 안에 PLC 이벤트 2회 이상
  || packetsLostDelta >= 3        // 500ms 안에 패킷 3개 이상 손실
  || jitterMs >= 80;              // 지터 80ms 이상

isNoiseFrame은 CV/ZCR 조건만 본다. isEffectiveNoiseFrame은 여기에 PLC 비활성 조건을 추가로 AND한다. PLC가 활성화된 동안은 기계음 후보 프레임이 카운트에 포함되지 않는다.

if (isNoiseFrame && isPlcActive) {
  logger.info("Noise candidate frame suppressed during PLC-active window", {
    cv:                   cv.toFixed(4),
    rmsDb:                rmsDb.toFixed(1),
    zcr:                  zcr.toFixed(4),
    concealedSampleRatio: ...,
    concealmentEventsDelta: plcState.concealmentEventsDelta,
    packetsLostDelta:       plcState.packetsLostDelta,
    jitterMs:               ...,
  });
}

기계음 후보이지만 PLC로 억제된 프레임은 INFO 레벨로 기록되어 실제 억제가 동작하는지 추적 가능.

const getAiAudioInboundStats = useCallback(async () => {
  const pc = pcRef.current;
  if (!pc || pc.connectionState === "closed") return null;

  const statsReport = await pc.getStats();
  let result: AudioInboundStats | null = null;

  statsReport.forEach((report) => {
    if (report.type === "inbound-rtp" && report.kind === "audio") {
      result = {
        timestamp:             report.timestamp,
        concealedSamples:      report.concealedSamples,
        concealmentEvents:     report.concealmentEvents,
        totalSamplesReceived:  report.totalSamplesReceived,
        silentConcealedSamples:report.silentConcealedSamples,
        packetsLost:           report.packetsLost,
        packetsReceived:       report.packetsReceived,
        jitter:                report.jitter,
      };
    }
  });

  return result;
}, []);

useAiAudioNoiseGuard({
  aiAudioStream: noiseTestHarness.syntheticNoiseStream ?? aiSession.aiAudioStream,
  isPeerTalking:  noiseTestHarness.isNoiseSimulating || aiSession.isPeerTalking,
  enabled:        noiseGuardEnabled,
  getAudioInboundStats: noiseTestHarness.syntheticNoiseStream
    ? undefined                            // 테스트 모드: PLC 보호 OFF (합성 신호라 실제 stats 없음)
    : aiSession.getAiAudioInboundStats,    // 프로덕션: 실제 WebRTC stats
  onNoiseDetected: () => { /* ... */ },
});

1. localhost:3000/app/guest/ 게스트 페이지 접속 후 수업 시작
2. 개발자 도구 콘솔에서 window.__noiseTest?.start() 실행
3. 10초 이내에 기계음 감지 알림(세션 중단) 발생하는지 확인
4. 감지 시 로그: Mechanical noise confirmed after re-verification

1. 실제 수업 중 네트워크 스로틀링 (Chrome DevTools → Network → Throttle)
2. Noise candidate frame suppressed during PLC-active window 로그 확인
3. 스로틀링 해제 후에도 1.5초간 억제 상태 유지되는지 확인

1. 수업 진행 중 AI 발화 시작 후 WiFi 일시 차단(1~2초) 또는 DevTools 스로틀
2. 기계음 오탐 없이 세션이 유지되는지 확인
3. 네트워크 복구 후 AI 음성이 정상 재개되는지 확인
4. 콘솔 로그에서 PLC active 로그 순서 확인:

  INFO  Noise candidate frame suppressed during PLC-active window
       { cv: "0.0012", concealmentEventsDelta: 4, ... }
  ... (패킷 복구 후 1.5초 TTL 만료) ...
  INFO  Noise re-verification failed, resuming normal analysis
  (← 재검증 중 PLC 억제로 기계음 카운트 부족 → 오탐 회피)